One Frozen Simulator Is Not Enough: Simulator Collapse in Multi-Agent RL
单一冻结模拟器不够：多智能体强化学习中的模拟器坍缩
🧭 多智能体强化学习 · 用户模拟器坍缩 ★ 深度解读
Northeastern University · New York University · UC Berkeley · University of Washington · Stanford University
识别单冻结 LLM 用户模拟器导致的 simulator collapse，并提出 Verbalized Sampling 与 Co-Training 两种解法
📌 工作参考价值（4 点）
- 训练对话/Agent 策略时不要只信单一 frozen LLM 用户模拟器：如果训练 reward 持续上升、held-out 或真实用户指标先升后跌、策略 entropy 趋零，基本就是 simulator collapse。可以在电商客服、导购对话、多轮搜索 agent 训练中加一个 held-out simulator panel 或真实日志回放，监控这条曲线。
- 用 Verbalized Sampling 做低成本的 inference-time 增强：rollout 时让模拟器显式列出多个可能用户回复及概率，再采样，而不是 greedy 生成。这能覆盖接受、追问、拒绝、投诉等不同用户反应，避免策略学成固定脚本；不重训、不增加模型更新成本，适合快速在现有 user simulator 上打补丁。
- 把用户模拟器也 trainable，并做成 checkpoint pool：策略和模拟器同 rollout 联合更新，或从近期 simulator checkpoint 池中采样，让训练环境成为 moving target。工程上对应电商场景：用户行为模型随策略一起迭代，防止策略只学会讨好某一批“好说话”的模拟用户。
- 模拟器 reward 要保留 informative variation：二进制任务下让 simulator 训练目标接近 success rate ≈ 0.5，保持 batch 内 variance 最大；不要让模拟器只学成一个新的固定 mode。否则 Co-Training 也会重新坍缩。